第 37 卷 第 1 期 计算 机 应 用 研究 Vol.37No.1 


录用 定稿 Application Research of Computers Accepted Paper 


宁 度 图 辅助 的 主动 轮廓 分 割 算 法 


刘 双 ， 兽 文亮 ， 深 晓 升 
(重庆 大 学 计算 机 学 院 , 重庆 400044) 


摘 要 : 针对 由 前 后 背景 相似 而 导致 从 图 像 中 很 难 分 割 出 精确 图 像 的 问题 ， 以 主动 轮廓 分 割 方法 为 基础 ， 结 合 深 度 图 
为 辅助 ， 提 出 了 一 种 新 的 深度 图 辅助 的 基于 区 域 的 主动 轮 廊 图 像 分 割 方法 。 首 先 ， 使 用 滤波 算法 对 深度 图 进行 修补 ， 


得 到 较为 完善 的 深度 图 ; Na 彩色 图 和 深度 图 的 置信 图 ; 最 后 使 用 置信 图 ， 计 算 给 定 区 域 
中 颜色 与 深度 的 权重 ， 从 而 指导 分 割 过 程 。 提 出 工法 能 够 正确 的 使 用 彩色 信息 和 深度 信息 来 指导 分 割 ， 更 准确 地 实现 
前 后 背景 的 分 离 。 实 验 结果 表明 ， es 雪 果 较为 接近 真实 情况 ， 提 高 了 图 像 分 割 的 准确 率 。 


关键 词 : 深度 图 像 ; 滤波 算法 ; 主动 轮廓 模型 ; 置信 图 
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Depth assisted active contour segmentation algorithm 


Liu Ji, Zeng Wenliangi, Liang Xiaosheng 
(College of Computer Science, Chongqing University, Chongqing 400044, China) 


Abstract: The similarity of foreground and background is a tough question in image segmentation. Based on the active contours, 


combining with the depth map, this paper proposes a depth-assisted region-based active contour method. It uses the filtering 
algorithm to recover the depth map firstly, then calculates the confidence maps of the RGB image and the depth image by 
Gaussian Mixture Model, finally uses the confidence map to calculate the weights of the colors and depths in the given region 
to guide the segmentation process. The proposed algorithm uses the local information of color and depth images to guide the 
segmentation, which obtain a more accurate segmentation. The experimental results show that the proposed method obtains the 
segmentation results are nearer to the true circumstance, also it improves the accuracy of image segmentation. 
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树 涛 等 人 喇 是 提出 了 一 种 利用 水 平 集 和 深度 图 来 进行 图 像 分 割 

的 方法 ， 其 方法 主要 分 为 两 步 ， 首 先 使 用 水 平 集 对 深度 图 进行 

图 像 分 割 是 指 将 图 片 分 割 成 不 同 区 域 ， 从 而 提取 特定 目标 分割 ， 然 后 对 分 割 结果 边 缘 进 行 细 化 。 葛 玲 等 人 外 则 是 提出 

的 一 种 方法 。 图 像 分 割 算 法 可 以 划分 为 以 下 几 类 : 基于 区 域 颜 ”种 在 经 典 图 割 算法 中 引入 深度 图 进行 交互 式 图 像 分 割 的 方法 ， 

色 等 信息 的 分 割 、 基 于 物体 边缘 信息 的 分 割 、 基 于 给 定 阔 值 的 其 主要 思想 为 使 用 深度 图 改变 图 像 分 割 时 边 的 权 值 ， 从 而 改变 
分 割 以 及 一 些 特 定理 论 研究 中 提供 的 分 割 方法 。 典 型 传统 方法 ”分 割 结果 。 

有 图 割 方法 卜 、 水 方法 向 、 主 动 轮廓 方法 6。 这 些 方法 能 够 巧妙 然而 ， 大 多 数 人 利用 深度 图 像 辅助 图 像 分 割 时 ， 使 用 的 大 

的 利用 相关 区 域 信息 来 实现 特定 目标 的 分 离 ， 但 是 其 所 能 依靠 。 都 是 较为 完善 的 深度 图 。 实 际 情况 下 ， 在 深度 图 像 的 获取 过 程 

的 信息 较 少 ， 往 往 不 能 达到 很 好 的 分 割 


un 


天 


效果 。 特 别 是 针对 图 像 ” 中 , 由 于 设备 本 身 的 限制 (如 Kinect) 和 外 界 环 境 因素 的 干扰 ， 


中 前 后 背景 相似 的 情况 ， 传 统 的 分 割 算 法 往往 难以 得 到 正确 的 采集 到 的 深度 图 像 存在 着 很 多 问题 ， 主 要 包括 深度 信息 缺失 导 

分 割 结果 。 致 的 图 像 空洞 、 深 度 值 准 确 值 不 高 及 图 像 噪声 问题 ， 从 而 导致 
针对 前 后 背景 相似 的 情况 ， 己 有 学 者 外 开始 引入 深度 图 来 。” 很 多 应 用 深度 图 像 进行 分 割 的 方法 效果 不 佳 。 

甫 助 图 像 分 割 。 因 为 深度 图 像 的 灰 度 值 表示 图 像 中 物体 与 摄像 本 文 提 出 一 种 利用 深度 相机 采集 的 深度 图 来 辅助 图 像 分 割 

机 之 间 的 距离 ， 值 越 大 表示 距离 越 远 。 那 么 针对 前 景 背 景 相 似 ”的 方法 ， 其 贡献 点 主要 分 为 两 点 : 使 用 改进 的 滤波 算法 来 对 深 

但 深度 值 不 同 的 区 域 ， 就 可 以 利用 深度 信息 进行 分 割 。 诸 如 李 ”上 度 图 进行 修补 ， 引 入 置信 图 机 制 ， 提 出 深度 图 辅助 的 基于 区 域 
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的 主动 轮廓 算法 ， 置 信 图 的 使 用 能 够 使 彩色 图 和 深度 图 得 到 合 


P=(p.,p,) ，9 为 中 心 像素 的 邻 域 像 素 点 ，4=(4.,4,)。P， 


理 的 使 用 ， 这 样 在 修补 后 深度 图 效果 较 好 的 情况 下 ， 就 能 主要 

依靠 深度 图 完成 分 割 ， 而 在 深度 图 修补 不 佳 的 情况 下 也 能 够 利 ”4 之 间 的 距离 使 用 欧 氏 距离 公式 。 

用 彩色 信息 完成 分 割 。 实 验 结果 表明 ， 所 提出 的 方法 能 够 较 好 se) 
恢复 深度 图 像 ， 而 基于 修补 后 的 深度 图 ， 本 文 提出 的 深度 图 辅 F(T-1)=e 

助 的 基于 区 域 的 主动 轮廓 算法 能 够 产生 较 好 的 分 割 结果 。 其 中 : G(i,j) 是 作为 引导 图 的 彩色 图 像 转 换 为 灰 度 图 后 在 点 


(i 让 处 的 灰 度 值 。 滤波 器 的 核 函数 仍然 是 高 斯 函数 ，c, 为 高 斯 


1 ”算法 描述 


公式 的 标准 差 。f (1 -1) 使 用 高 斯 函数 作为 核 函 数 进行 计算 。 


为 了 解决 图 像 分 割 前 后 背景 相似 的 问题 ， 本 文 提出 了 深度 
图 辅助 的 基于 区 域 的 主动 轮廓 分 割 方法 ， 流 程 如 图 1 所 示 。 在 空间 邻近 度 因子 的 计算 上 采取 了 DGF 的 方法 ， 有 具体 如 下 : 
Si 置信 图 计算 | | 基于 区 域 主动 办 Re | G) 
深度 图 修 言 图 站 万 分 入 a ld — P,P,— qd,)=e 
=(g.— 0-(P -dg jsinb 4 
a xy =(q. —p.)cos0-(p, —g,)sin (4) 
Fig.l System flowchart ( i 9 { ) 9 
y=(q.— Dp,)sin0+¢p, —q,)eos 
该 方法 由 两 个 关键 环节 构成 ， 其 一 为 修补 深度 图 ， 其 二 为 ”| , 
使 用 修补 后 的 深度 图 进行 图 像 分 割 。 本 文 方法 的 具体 步骤 描述 在 DGF 中 , 根据 边界 方向 9, 分 别 在 水 平和 垂直 两 个 方向 
如 下 : a) 使 用 所 提出 的 滤波 方法 ， 对 深度 图 进行 空洞 修补 ;b) 分 。 进行 计算 ， 此 处 边界 方向 9 有 具体 计算 方式 如 下 : 
别 计算 彩色 图 和 深度 图 的 置信 图 ;c) 由 置信 图 得 到 给 定 区 域 的 i 加 (0 
= lan = 
颜色 与 深度 权重 分 量 ， 从 而 指导 后 续 的 分 割 过 程 。 区 
2 ”修补 深度 图 的 滤波 算法 其 中 (8,,8,) 是 沿 x 和 y 两 个 方向 上 的 梯度 。 
2.1 深度 图 空洞 产生 本 文 所 提出 算法 在 DJBF 算法 的 基础 上 ， 先 按照 是 否 处 于 


丽 


以 Kinect 为 例 , 说 明 空洞 产生 原因 以 及 具体 的 空洞 效果 空洞 区 域 分 为 空洞 像素 和 非 空 洞 像素 ， 对 所 有 空洞 内 的 像素 设 
Kinect 设备 主要 有 三 个 组 件 ， 传 感 嚣 ， 摄 像 机 ;麦克 风 。 深 度 。 置 优先 级 ， 并 按照 优先 级 顺序 进行 填补 ， 待 空洞 中 的 像素 填补 
信息 传感器 由 一 个 红外 发 射 器 和 红外 接收 器 组 成 ， 彩 色 摄 像 机 ”完成 后 ， 再 对 图 中 存在 的 处 于 非 空 洞 区 域 的 噪声 进行 去 除 ， 最 
采集 彩色 图 像 ， 用 来 获取 同一 场景 的 彩色 图 像 。 利 用 Kinect 采 后 得 到 空洞 修复 后 的 图 像 。 本 文 在 计算 每 个 待 测 空洞 像素 的 深 
集 深 度 图 像 时 。 默 认 模式 下 ，Kinect 的 有 效 视 距 是 0.8 米 到 4.0 ” 度 之 前 ， 为 所 有 的 未 知 空洞 像素 设置 了 优先 级 ， 即 填补 顺序 的 
米 , 因 此 处 于 有 效 视 距 外 的 物体 无 法 通过 Kinect 获得 深度 信息 。 ”优先 程度 。 空 洞 区 域内 所 有 的 空洞 像素 会 按照 其 优先 级 进行 排 
从 而 造成 Kinect 数据 缺失 、 图 像 空洞 。 图 2 为 利用 Kinect 采集 序 ， 填补 空 洞 时 ， 会 根据 每 个 待 测 像 素 的 优先 级 顺序 由 大 到 小 
的 彩色 图 像 (图 2 右 图 ) 与 其 对 应 的 深度 图 像 (图 2 左 图 )。 深 ”进行 深度 值 计 算 。 而 待 测 像素 的 优先 级 m 是 由 两 个 量 来 决定 的 ， 
度 图 像 中 ， 黑 色 区 域 表 示 像 素 值 为 0 的 点 ， 即 深度 值 为 0 的 点 。 分 别 是 临近 像素 的 支持 度 Pp 和 可 信 度 4 的 线性 组 合 , 即 式 (7)。 
也 就 是 空洞 像素 。 m=p+Ag (4>0) 0) 
其 中 : 支持 度 P 是 指 待 测 中 心 像素 周围 的 已 知 邻 域 像素 的 个 数 。 
在 本 文 实验 中 ， 滤 波 窗口 大 小 采取 为 7*7， 即 中 心 像素 的 邻 域 
像素 个 数 为 48。 置 信和 度 4 为 邻 域 像素 与 中 心 像素 之 间 的 相似 度 ， 
要 包括 空间 临近 度 和 灰 度 值 相似 度 ， 其 计算 方法 与 联合 双边 滤波 
图 2 Kinect 获取 到 的 深度 图 的 中 邻 域 像 素 深 度 的 权重 计算 方法 相同 ， 如 下 所 示 : 

Fig.2 depth map acquired by Kinect 
2.2 滤波 算法 

本 文 在 基于 方向 的 联合 双边 滤波 (directional joint bilateral 

filter，DJBF) 中 算法 的 基础 上 ， 提 出 了 一 种 新 的 用 于 修补 深度 


q=f" (gq. -PP -9,)f (1" -7’) (8) 


扩 (9, 一 Psp, 一 9, ) 为 空间 邻近 度 因 子 , f (7? 7°) 为 灰 度 值 相 


图 的 滤波 算法 。DJBF 由 Le 等 人 提出 ， 其 计算 公式 如 下 : 似 度 因子 。 
D, 吝 > D(g) 居 (PP -9,)f (1" -71°) 上 计算 优先 级 步骤 如 下 : 
a) 首 先 为 优先 级 m 设 定 一 个 初始 阔 值 7， 本 文 是 实验 中 初 


其 中 : D, 是 指 待 测 中 心 像素 的 深度 值 ，P 为 中 心 像素 点 ， 台 辣 值 了 为 1.5。 
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刘 双 等 : 


b) 由 式 (7) 计算 空洞 区 域内 所 有 像素 的 优先 级 m， 将 所 有 
大 于 了 的 空洞 像素 插入 到 优先 级 队列 TSet 中 ， 并 计算 该 队列 
中 各 个 像素 的 深度 值 。 

9) 每 填补 完 当 前 队列 中 所 有 空洞 像素 后 ， 会 对 当前 所 有 空 
洞 像素 重新 通过 计算 支持 度 和 可 信 度 来 计算 新 的 优先 级 m， 并 
根据 剩余 所 有 空洞 像素 的 优先 级 更 新 闻 值 7?， 并 按照 新 的 闵 值 
将 空洞 像素 排列 到 队列 中 。 这 里 了 是 自 适 应 性 改变 的 ， 如 果 队 
j 中 没有 待 补 像素 ， 则 将 阔 值 降低 0.1， 反 之 升 高 0.1， 通 过 不 


a 
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4=0,4 =0 End 万 < 袜 
C 
S 
和 .=1,4=0 C-D>= 
. GD 
4 =04 =1 D-C> 二 
pb 
S 
4.=0.3,4, =0.5 IC-D|> 


C 和 D 分 别 为 置信 图 对 应 区 域 中 属于 前 景 的 值 的 个 数 ,5 为 给 


ea 


调整 阐 值 ， 使 得 优先 级 最 高 的 像素 总 是 可 以 被 优先 计算 。 这 
f 在 每 次 循环 中 ,计算 出 目前 剩余 所 有 空洞 像素 的 新 的 优先 级 ， 
依据 新 的 优先 级 更 新 间 值 ， 并 不 断 地 往 优先 级 队列 中 加 入 新 
的 优先 级 最 高 的 空洞 像素 ， 计 算 其 深度 值 。 

d) 待 所 有 空洞 像素 的 深度 值 都 计算 出 ， 则 跳出 循环 ， 即 空 
洞 填补 完 。 


3 ”深度 信息 辅助 基于 区 域 的 主动 轮廓 分 割 算法 


3.1 基于 区 域 的 主动 轮廓 算法 
主动 轮廓 算法 主要 分 为 两 种 ， 基 于 区 域 以 及 基于 边缘 "1。 
基于 边缘 的 算法 主要 使 用 图 像 的 梯度 信息 来 停止 特定 对 象 边界 


入 


a- 


上 的 曲线 ， 基 于 区 域 的 分 割 算 法 则 是 在 演化 过 程 中 ， 找 到 满足 
边界 情况 下 的 最 小 能 量 函 数 。 在 本 文中 采用 的 是 由 Lankton 等 


人 [提出 来 的 基于 区 域 的 主动 轮 廊 分割 方法 。 与 以 往 方 法 不 同 ， 
该 基于 区 域 的 方法 主要 考虑 局 部 信息 而 不 是 全 局 图 像 的 统计 量 
通过 局 部 信息 来 指导 轮廓 演化 过 程 。 

基于 区 域 的 主动 轮廓 算法 进行 图 像 分 割 时 ， 对 于 给 定 图 像 
7T， 将 Q 定 义 为 了 的 二 维 空间 ， 其 演化 过 程 中 的 能 量 函数 可 以 
表示 为 


于 


£(¢)= jzaj B(xy)-F(I(9),G(y) dydr + 46p(x) div [ 2 2 )] 


(9) 

其 中 :5 为 演化 的 能 量 函 数 ，Q 为 图 片区 域 ，6V(z) 代表 狄 拉 克 
函数 ，B(x,y) 表示 两 点 之 间 的 距离 关系 ， 当 两 点 %》 距 离 小 于 
给 定 半 径 值 时 ，B(x,y)=1 否则 为 0，7(y) 是 颜色 分 量 和 深度 
分 量 的 组 合 值 ，4 是 惩罚 系数 ， 在 正则 项 中 使 用 来 保证 曲线 的 
平滑 ， 其 设置 和 文献 0 相同 。 
F 则 是 一 个 能 量度 量 函 数 , 用 于 保证 轮 廊 上 局 部 区 域 的 点 遵循 
给 定 的 模型 。 其 表达 如 下 : 


r =A.(L. Ve ) 


th (D， 站 (10) 


其 中 : 么 和 如 由 置信 图 决定 ， 
v 表示 区 域外 部 像素 的 均值 。 
3.2 置信 图 的 方法 


2 表示 的 是 区 域内 部 像素 均值 ， 


在 使 用 深度 图 辅助 的 主动 轮廓 算法 进行 图 像 分 割 时 ， 需 要 
引入 置信 图 来 指定 A 和 4%。 其 采用 的 判别 方法 如 下 所 示 : 


定 区 域 的 面积 ,& 和 都 是 常量 ,在 实验 中 指定 a=8,B=4。 

本 文采 用 期 望 最 大 化 的 高 斯 混合 模型 (EM-GMM ) 的 来 计 
算 置信 图 。 除 此 以 外 ， 还 有 几 种 可 选 的 方案 ， 诸 如 高 斯 模型 、 
直方 图 、 高 斯 混合 模型 、 期 望 最 大 化 算法 。 本 文 对 比 了 这 几 种 
方法 后 发 现 ，EM-GMM 最 为 有 效 。EM-GMM 计算 过 程 中 ， 两 
个 关键 步骤 是 使 用 EM 算法 的 初始 化 和 求解 过 程 ， 计 算 步 又 描 
述 如 下 : 

al) 初始 化 开 =2 却 =0.3L=0， 初 始 化 高 斯 模型 G = 
AN(p; | 4,6，) ,循环 步骤 2-5, 直到 达到 最 大 迭代 条 件 则 退出 ; 

b) 对 图 像 7 中 的 每 个 像素 点 p;， 令 p(pi,G.)=0; 
NN(p; | M5. ) 
DNGp | p45) 


d) 计 算 N, = 之 P(P,G,) 


SA 


c) 计 算 p(pi,Gi)= 


1 天 
=— dp(p,,G.)p, 
和 (pi,Gi)P 


1 天 
8 六 2pP(PGD(D 一 从) 人 太一 作 ) 
k 大 


6) 如 果 p(pi,Gb)<p(pi,G), 则 I =1。 
其 中 ， 天 为 高 斯 模型 数量 ，7. 为 得 到 的 置信 图 ， 


A 是 每 个 高 斯 


模型 的 权重 。 分 别 得 到 颜色 和 深度 的 置信 图 ， 从 而 就 能 在 分 割 
过 程 中 通过 改变 权重 值 来 改变 函数 尺 ， 实 现 深度 图 辅助 的 基于 
区 域 的 主动 轮廓 模型 的 分 割 。 
4 实验 结果 

实验 环境 和 参数 在 实验 前 均 已 正确 配置 ， 本 方法 基 


法 基于 

OpenCV 的 C++ 实验 环境 下 进行 实验 ， 实 验 数 据 集 为 
NTU200004。 本 文 实验 过 程 中 涉及 到 的 深度 图 修补 、 置 信 图 计 
算 以 及 最 后 的 主动 轮廓 分 割 按 顺序 执行 ， 
果 构 成 了 最 后 的 最 优 解 。 深 度 图 修补 过 程 中 ， 其 计算 优先 级 的 
闵 值 了 初始 设置 为 1.5， 其 余 参 数 参考 文献 外 进行 设置 ; 主动 轮 
廓 分 割 过 程 中 w 和 的 变化 范围 为 1 到 10， 经 多 次 实验 在 
xc=8,=4 时 得 到 的 4 和 多 最 为 合适 ， 其 余 参数 参考 文献 0 
进行 设置 。 
本 文 实验 环节 参考 了 文献 3 的 实验 过 程 ， 为 了 验证 算法 的 

有 效 性 ， 实 验 过 程 将 针对 两 个 方面 展开 : 一 是 验证 滤波 算法 对 
深度 图 修复 的 有 效 性 ， 二 是 验证 深度 图 辅助 的 基于 区 域 的 分 割 
算法 的 有 效 性 。 
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本 文 实验 效果 的 评价 指标 分 为 两 类 : 其 一 是 基于 视觉 观察 
的 主观 判断 ， 其 二 是 客观 指标 PSNR《〈《 峰 值 信 品 比 )、MSE 〈 均 
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Fig.4 Results of depth image inpainting algorithm (tower) 
本 文 使 用 滤波 算法 修补 深度 图 的 过 程 中 利用 的 是 局 部 信息 
故 最 终结 果 不 可 能 和 标准 图 完全 相同 ， 但 从 图 3 以 及 图 4 最 右 


方 误差 )、Jaccard index 〈 杰 卡 德 系 数 )、Dice coefficient 〈 戴 斯 
相似 性 系数 )、Precision《〈 精 准 率 ) 以 及 参考 文献 0[3] 所 提供 的 针 
对 分 割 结果 的 评价 指标 Conformity coefficient〈 一 致 相似 性 系 
数 )， 所 有 的 实验 结果 均 与 标准 图 Ground Truth 进行 对 比 。 
4.1 实验 滤波 算法 的 深度 图 修补 结果 

验证 深度 图 修补 算法 的 有 效 性 的 结果 图 如 图 3(bell) 和 图 
4 (tower) 所 示 。 在 图 3、4 中 ,从 左 到 右 分 别 对 应 标准 深度 图 、 
人 工 加 以 空洞 的 深度 图 、 修 补 后 的 深度 图 (用 红色 标记 存在 的 
误差 点 )、 修 补 后 的 深度 图 。 在 此 阶段 ， 对 于 客观 评价 ， 将 从 
Error( 填 补 误差 )、Radio( 空 洞 修补 比例 ) 和 PSNR 三 个 方面 进行 
对 比 。 


现 


Error = HoleFilling— Groundtruth 
HoleFilling 为 修复 后 的 深度 图 像 , Error 是 修复 后 的 图 像 
HoleFilling 与 Groundtruth 对 比 后 填补 错误 的 像素 数 。 
Error 


Hole? 


Sum 


Radio =1— 


其 中 : Hole 5 为 空洞 像素 总 个 数 。 


边 修 补 后 的 深度 图 来 看 ， 不 难 发 现 ， 该 滤波 算法 能 够 有 效 地 修 
补 不 完美 的 深度 图 。 表 1 中 数据 也 表明 ,经 过 滤波 算法 的 修补 ， 
深度 图 得 到 了 较 好 的 恢复 。 

表 1 深度 图 修补 算法 数据 对 比 


Table 1 Data comparison of depth map patching algorithm 
Error Radio (%) PSNR 
修补 前 深度 图 (bell) 4130 80.78 20.95 
修补 后 深度 图 (bell) 2502 88.36 38.08 
修补 前 深度 图 (tower) 3500 75.18 17.85 
修补 后 深度 图 (tower) 2061 85.39 41.29 


4.2 基于 区 域 的 主动 轮廓 算法 分 割 结果 

为 验证 深度 图 辅助 的 基于 区 域 的 分 割 算 法 的 有 效 性 ， 本 文 
进行 了 两 类 对 比 实验 。 其 一 是 与 只 使 用 颜色 信息 产生 的 分 割 结 
果 进 行 对 比 , 甚 二 是 与 葛 玲 等 人 提出 的 基于 RGBD 图 像 的 图 割 
方法 进行 了 对 比 。 只 使 用 颜色 信息 的 方法 选择 为 基于 轮廓 指导 
的 彩色 分 割 H(ICCV 2015 ) 以 及 超 像 素 分 割 方法 加 (CCVPR 2015 )， 


PSNR 是 衡量 图 像 失真 水 平 或 是 噪声 水 平 的 客观 标准 ， 殿 


使 用 RGBD 信息 的 为 葛 玲 等 人 提出 的 方法 。 除 此 以 外 ,本 文 在 


是 最 普通 的 用 来 评 鉴 图 像 画 质 的 客观 测量 法 。 
MAX? 
MSE 


PSNR | (14) 


这 里 的 MAX 表示 图 像 颜色 的 最 大 数值 ，8bit 图 像 取 值 为 
255。MSE 为 均 方差 (mean square error)， 即 msn 的 Ground 
Truth 图 和 空洞 填补 后 的 深度 图 像 玉 之 间 的 均 方 误差 。 


MSE= 一 六 >KC -7(i,7) (15) 


17 ;=1 j=1 


因此 ， PSNR 的 数学 公式 为 


PSNR =10.log bx =20. ogsl 2 (16) 
其 中 : MAX, 是 图 像 颜 色 的 最 大 数值 , 8 位 的 采样 点 表示 为 255。 
计算 原理 可 得 ， 两 幅 图 之 间 的 PSNR 值 越 大 ， 则 表明 两 幅 图 
越 相 似 。 


图 修复 算法 结果 (bell) 
Fig.3 Results of depth image inpainting algorithm (bell) 


二 这 IT 


图 4 深度 图 修复 算法 结果 (tower) 


实验 环节 使 用 了 基于 深度 学 习 的 FCN (图 像 语义 分 割 ) 来 进行 
， 但 是 深度 学 习作 为 一 种 需要 大 量 训练 数据 的 方法 ， 针 对 
未 训练 的 图 像 并 不 能 得 到 明显 的 分 割 结果 。 

本 次 实验 中 ， 分 割 结 果 的 评估 采用 PSNR、Jaccard index、 
Dice coefficients、 Jaccard 系 
数 可 以 用 于 比较 样本 集 的 相似 性 ， 其 定义 方式 为 样本 集 的 交集 
除 以 样本 集 的 并 集 ， 如 式 (17) 所 示 ， 其 中 Q, 和 9, 为 两 个 样本 


Precision、 Conformity coefficient 。 


集 。 
-BD 
二 (7 
显然 ，Jaccard 值 越 大 ， 也 即 是 数据 越 相 似 ， 得 到 的 分 割 结 
果 更 为 接近 真实 情况 .Dice 系数 也 是 一 种 相似 度 度量 函数 ,Dice 
系数 越 大 ， 表 示 数 据 越 相似 ， 其 定义 如 下 : 
2|o2) 人 | 
Kj = 一 一 一 一 Xx1009% 18 
Or+lo| 人 


Precision 即 是 精准 率 ， 其 值 代 表 了 正确 分 割 样本 占 总 样本 
的 比例 ， 也 是 值 越 大 ， 则 分 割 越 精准 。 
Conformity coefficient 是 由 参考 文献 03] 提 出 的 一 种 衡量 分 
割 结 果 的 评价 指标 ， 可 以 由 vs 进行 表示 ， 如 下 所 示 : 
全 (19) 


Ka 


根据 参考 文献 [13]， 相 比 于 Dice 和 Jaccard，Conformity 
coefficient 更 敏感 、 更 严格 , 在 识别 变化 较 小 的 分 割 图像 是 ， 其 
E 力 更 佳 。 
分 割 结果 如 图 5 和 6 所 示 , 不 难 发 现在 具有 空洞 的 情况 下 ， 
于 本 文 提 出 了 在 进行 图 像 分 割 前 首先 对 深度 图 使 用 滤波 算法 


识别 外 
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进行 修补 ， 得 到 的 分 割 结果 更 为 接近 真实 情况 。 
表 2 以 及 表 3 为 具体 的 评价 指标 数据 ， 数 据 显 示 由 本 文 提 
出 的 修补 深度 图 算法 和 深度 图 辅助 的 基于 区 域 的 主动 轮廓 算法 


滤波 算法 来 修补 深度 图 。 本 文 所 提出 方法 是 首先 会 对 深度 图 进 
行 修 补 ， 接 着 计算 出 彩色 图 和 深度 图 的 置信 图 ， 并 
到 彩色 分 量 和 深度 分 量 的 权重 值 ， 最 后 完成 分 割 过 程 。 实 验 结 


信 图 得 


得 到 的 分 割 结 果 ， 其 各 项 指标 均 相 对 较 好 ， 也 即 是 最 为 接近 真 
实情 况 ， 色 网 得 到 较 好 的 分 割 。 
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(0) 修 补 后 。(d)Ground Truth 


(b) 修 补 前 


(e) 文 献 [6] 分 割 结果 (fj) 文献 [7] 分 害 结果 (g) 文 献 [8] 分 割 结果 (h) 本 文 分 割 结 


图 5 不 同 算法 分 割 结果 对 比 (bell) 


Fig.5 Segmentation results of different algorithm(bell) 


(b) 修 补 前 (0) 修 补 后 。 (d)Ground Truth 


-~ ; 
文献 [6] 分 割 结果 文献 [7] 分 割 结果 文献 [8] 分 割 结果 本 文 分 割 结 
图 6 不 同 算法 分 割 结果 对 比 (towen) 


Fig.6 ， Segmentation results of different algorithm(Tower) 
表 2 分 割 算法 数据 对 比 (belD) 


Table 2 Data comparison of segment algorithm(bell) 


指标 方法 外 方法 中 方法 由 本 文 
PSNR 40.64 43.87 44.37 47.15 
Jaccard(%) 90.52 96.38 96.33 96.89 
Dice(%) 95.03 98.15 98.13 98.42 
Conformity(%) 89.53 96.24 96.19 96.79 
Precision(%) 93.08 97.36 97.37 98.52 


表 3 分 割 算法 数据 对 比 (tower) 


Table 3 Data comparison of segment algorithm(tower) 


指标 方法 四 方法 中 方法 四 本 文 

PSNR 32.40 37.59 37.74 38.65 

Jaccard(%) 60.22 89.39 89.94 91.71 

Dice(%) 75.17 94.40 94.70 95.68 

Conformity(%) 33.95 88.13 88.82 90.97 

Precision(%) 64.30 99.25 96.93 99.38 

5 ”结束 语 

图 像 分 割 一 直 是 计算 机 视觉 领域 的 一 大 研究 热点 。 本 文 提 


埋 


出 了 深度 图 辅助 的 基于 区 域 的 主动 轮廓 分 割 方法 ， 为 解决 实际 
获取 到 的 深度 图 存在 空洞 等 问题 ， 在 DJBF 基础 上 提出 了 新 的 


果 表 明 本 文 提 出 的 方法 能 够 较 好 的 修补 深度 图 并 产生 更 接近 真 


实情 况 的 分 割 结果 。 
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